从大脑活动中解码图像一直是一个挑战。由于深度学习的发展,有可用的工具来解决这个问题。解码图像旨在将神经脉冲序列映射到低级视觉特征和高级语义信息空间。最近,有一些从脉冲序列解码的研究,然而,这些研究较少关注神经科学的基础,很少有研究将感受野合并到视觉图像重建中。在本文中,我们提出了一种具有生物特性的深度学习神经网络架构,从脉冲序列重建视觉图像。据我们所知,我们首次实现了一种将感受野属性矩阵集成到损失函数中的方法。我们的模型是一个从神经脉冲序列到图像的端到端解码器。我们不仅将 Gabor 滤波器合并到用于生成图像的自动编码器中,还提出了具有感受野特性的损失函数。我们在两个数据集上评估了我们的解码器,这两个数据集包含猕猴初级视觉皮层神经脉冲和蝾螈视网膜神经节细胞 (RGC) 脉冲。我们的结果表明,我们的方法可以有效地结合感受野特征来重建图像,为基于神经信息的视觉重建提供了一种新方法。
主要关键词
![arXiv:2207.08591v1 [cs.CV] 2022 年 7 月 18 日PDF文件第1页](/bimg/6/648a59d6657b9b1a1e8a8d097909be358cb6418a.webp)
![arXiv:2207.08591v1 [cs.CV] 2022 年 7 月 18 日PDF文件第2页](/bimg/d/de2e20a7a66fe7f6cedfbb8623e1d982d655a0db.webp)
![arXiv:2207.08591v1 [cs.CV] 2022 年 7 月 18 日PDF文件第3页](/bimg/5/53030cd6aba2c50a8cd3bc8c544ced5d8ddf00b5.webp)
![arXiv:2207.08591v1 [cs.CV] 2022 年 7 月 18 日PDF文件第4页](/bimg/0/0474b38ec7c59812b88cbacfb25861ccadde82e0.webp)
![arXiv:2207.08591v1 [cs.CV] 2022 年 7 月 18 日PDF文件第5页](/bimg/f/f6e228c66d4a3a4053639dbb4004b6254b335259.webp)
